(12) NACH DEM VERTRAG UBER DIE INTERNATIONALE Z US AMMEN ARBEIT AUF DEM GEBCET DES 
PATENTWESENS (PCT) VEROFFENTLICHTE INTERNATIONALE ANMELDUNG 



(19) Weltorganisation fur geistiges Eigentum 
Internationales Biiro 

(43) Internationales Veroffentlichungsdatum 
1. AprO 2004 (01.04.2004) 




(10) Internationale Vcroffcntlichungsnummer 

PCT WO 2004/027707 A2 



(51) Internationale Patentklassifikation 7 : G06T 1/00 

(21) Internationales Aktcnzcichcn: PCT/EP2003/0 10030 

(22) Internationales Anmeldedatum: 

10. September 2003 (10.09.2003) 



(25) EInreichungssprache: 

(26) VerofTentlichungssprache: 



Deutsch 
Deutsch 



(30) Angaben zur Prioritat: 

102 42 087.4 11. September 2002 (1 1.09 .2002) DE 

(71) Anmelder (fiir alle Bestimmungsstaaten mit Ausnahme 
von US): DAIMLERCHRYSLER AG [DE/DE]; Ep- 
plestr. 225, 70567 Stuttgart (DE). 

(72) Erfinder; und 

(75) ErQnder/Anmelder (nur fiir US): UWE, Franke 



[DE/DE]; Benzstrasse 33, 73066 Uhingen (DE). PAYS AN, 
Pascal [DE/DE]; Katharinenstrasse 35, 73066 Uhingen 
(DE). STEIN, Fridrjof [DE/DE]; Helene-Lange-Strasse 
52, 73760 Ostfildern (DE). WURZ- WESSEL, Alexander 
[DE/DE]; Ziegelstrasse 66, 73084 Salach (DE). 

(81) Bestimmungsstaaten (national): AE, AG, AL, AM, AT, 
AU, AZ, BA, BB, BG, BR, BY, BZ, CA, CH, CN, CO, CR, 
CU, CZ, DK, DM, DZ, EC, EE, ES, FI, GB, GD, GE, GH, 
GM, HR, HU, ID, IL, IN, IS, JP, KE, KG, KP, KR, KZ, LC, 
LK, LR, LS, LT, LU, LV, MA, MD, MG, MK, MN, MW, 
MX, MZ, NO, NZ, OM, PH, PL, Fr, RO, RU, SD, SE, SG, 
SK, SL, TJ, TM, TN, TR, IT, TZ, UA, UG, US, UZ, VN, 
YU, ZA, ZM, ZW. 

(84) Bestimmungsstaaten (regional): ARIPO-Patent (GH, 
GM, KE, LS, MW, MZ, SD, SL, SZ, TZ, UG, ZM, ZW), 
eurasisches Patent (AM, AZ, BY, KG, KZ, MD, RU, TJ, 

[Fortsetzung auf der nacftsten SeiteJ 



(54) Title: IMAGE PROCESSING ON HARDWARE THAT IS OPTIMIZED WITH REGARD TO VECTOR CALCULATION 
AND COLOR MIXTURE 

(54) Bezeichnung: BELDVERARBEITUNF AUF R)R VEKTORRECHNUNG UND FARB MIS CHUNG OPTIMIERTER HARD- 
WARE 




< 



O 



(57) Abstract: Algorithms for processing digitized images (digitally recorded, for example, by digital CCD or CMOS cameras, 
or analogally recorded by analog CCD cameras and subsequently converted in analog/digital converters) and for processing the 
information contained therein require, according to use, an extremely high amount of computing. Computer hardware, which is spe- 
cialized for vector calculation and color mixture, so-called graphical processing units GPU (e.g. so-called 3D-accelerated graphics 
cards, preferably having the OpcnGL standard and/or Direct X standard that arc/is implemented on the hardware), and which has 
been developed particularly for entertainment electronics (computer games and animation) or for the depiction of three-dimensional 
structures (CAD), includes realizations of image processing algorithmics based on semiconductor technology. The inventive im- 
plementation of an item of hardware of the aforementioned type as an essential part of image processing enables an economically 
sensible realization of a computer performance required for carrying out real-time image processing. According to the invention, 
the GPU (also denoted, in part, as a VPU video processing unit) is not used in a conventional manner (namely for transforming 
artificial three-dimensional worlds into a two-dimensional view that is as realistic as possible on a display screen, but instead is used 
for the contrary by transforming real two-dimensional views (generally speaking: camera images) in order to determine the actual 
geometries prevailing in the real three-dimensional space. 

[Fortsetzung auf der nachsten SeiteJ 
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Zur Erkldrung der Zweibuchstaben- Codes und der anderen Ab- 
kiirzungen wird auf die Erkldrungen ("Guidance Notes on Co- 
des and Abbreviations") am Anfang jeder regularen Ausgabe der 
PCT -Gazelle verwiesen. 



(57) Zusammenfassung: Algorithmen zur Bearbeitung von digitalisierten Bilder (digital aufgenommen beispielsweise durch di- 
gitate CCD- oder CMOSKameras, oder analog aufgenommen durch analoge CCD-Kameras und anschliessend in Analog-Digital- 
Wandlern konvertiert) und der darin enthaltenen Informationen sind je nach Anwendung extrem rechenaufwendig. Auf Vektorrech- 
nung und Farbmischung spezialisierte Computer I lard ware sogenannte Graphical Processing Units GPU (z.B. sog. 3D-beschleunigte 
Graflkkarten, vorzugsweise mit hardwaresei tig implementiertem OpenGL- und / oder Direct-X-Standard), die vornehmlich fur die 
Unterhaltungselektronik (Computerspiele und -animation) oder die Darstellung von 3-dimensionalen Konstruktionen (CAD) enrwi- 
ckelt wurde, beinhallen Realisierungen von Bildverarbeitungsalgorilhmik auf Basis der Halbleitertechnik. Durch die erfinderische 
Implcmcnticrung cincr solcher Hardware als wcscntlichcr Tcil der Bildvcrarbcitung, kann cine fur cine Echtzcit-Bildvcrarbcitung 
notwendige Rcchncrlcistung wirtschaftlich sinnvoll realisicrt werden. In crfindcrischcr Weise wird hicrbei die GPU (tcilweisc auch 
als VPU - Video Proccssung Unit bczcichnct) nicht in bishcr iiblichcr Wcise vcrwandt (namlich zur Transformation von synthischen 
3-dimensionalen Welten in eine moglichst realistische 2-D Ansicht auf einem Bildschirm), sondern gerade umgekehrt, namlich zur 
Transformation realer 2-D Ansichten (im allgemeinen: Kamerabilder) um daraus die tatsachlich im realen 3-dimensionalen Raum 
vorherrschenden Geometrien zu ermitteln. 
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5 Bildverarbeitung auf fur Vektorrechnung und Farbmischung op- 
timierter Hardware 

Die Erfindung betrifft eine Vorrichtung und ein Verfahren 
10 nach dem Oberbegriff der Patentanspruche 1 und 5. 

Algorithmen zur Bearbeitung von digitalisierten Bilder (digi- 
tal aufgenommen beispielsweise durch digitale CCD- oder CMOS- 
Kameras, oder analog aufgenommen durch analoge CCD-Kameras 
15 und anschlieSend in Analog-Digital -Wandlern konvertiert) und 
der darin enthaltenen Informationen sind je nach Anwendung 
extrem rechenauf wendig. 

Bisher wird die Bildverarbeitung im allgemeinen auf frei pro- 

20 grammierbaren Recheneinheit (Central Processing Unit, CPU) 
implementiert . Die Rechenkapazitat der CPU ist hierbei der 
limitierende Faktor fur die Inf ormationsaufbereitung und -ge- 
winnung. Die Anwendung redundanter oder erganzender Algorith- 
men etwa zur wechselseitigen Kontrolle der Ergebnisse ist aus 

25 zeitlichen Grunden oft nicht moglich. Viele Applikationen un- 
terliegen der „Video-Echtzeitanf orderung" , d.h. Abarbeitung 
der Informationen eines Bildes in der Zeit, bis das nachste 
Bild zur Verfugung steht . Viele Kameras arbeiten mit einer 
Bildrate von 2 5 Hz, d.h. es stehen 40ms an Rechenzeit zur 

-30 Verfugung. Da durch die verwendete CPU auch die Rechenlei- 
stung begrenzt ist, sind der Inf ormationsauswertung klare 
Grenzen gesetzt, selbst im Hinblick darauf , dass in den letz- 
ten Jahren Prozessoren mit stetig steigende Rechenlei stung 
auf den Markt gekommen sind. Aus diesem Grund sind viele Be- 

35 arbeitungsschritte, die zwischenzeitlich algorithmisch be- 
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herrscht werden nicht einsetzbar, da der Zeitaufwand zu hoch 
ist. Insbesondere die simultane Anwendung aufwendiger Algo- 
rithmen, z.B. zur Bildverbesserung (Farbwert interpolation) , 
Informationsaufbereitung (z.B. Umrechnung einer Ansicht in 
eine sog. Vogelperspektive) , Korrektur von Bildfehlern (z.B. 
Verzeichnung durch Linsen- oder Einbauf ehler) und zur Infor- 
mationsgewinnung (Auswertungsalgorithmik, wie Fahrspurerken- 
nung oder Obj ektklassif ikation) sind bei aktuellen Rechner- 
leistungen wirtschaf tlich nicht sinnvoll realisierbar . 

Urn eine ausreichende Verarbeitungsgeschwindigkeit zu gewahr- 
leisteten ist es deshalb, insbesondere aus der Militartech- 
nik, auch bekannt, spezielle auf die vorliegende Bildverar- 
beitungsaufgabe spezif izierte Prozessoren (ASICS, application 
specific integrated circuits) zu verwenden. Bei solchen Pro- 
zessoreinheiten ist es moglich eine spezifische Verarbeitung- 
salgorithmik hardware-technisch zu realisieren und auf diese 
weise eine hohe Verarbeitungsgeschwindigkeit zu erzielen. Ei- 
ne solche Losung birgt jedoch den Nachteil hoher Gestehungs- 
kosten, da nur eine anwender spezif ische Kleinserie gefertigt 
werden kann, und einer starren Verarbeitungsstruktur , welche 
sich nur sehr eingeschrankt an sich andernde Anf orderungen, 
welche sich beispielsweise aus den im Rahmen des Produktent- 
wicklungsprozess entstehenden Erkenntnissen ergeben, anpassen 
lassen. 

Aufgabe der Erfindung ist es deshalb, eine Vorrichtung und 
ein Verfahren zur Bildverarbeitung zu finden, welche wirt- 
schaf tlich sinnvoll, hohe Rechnerleistung und flexible Pro- 
duktgestaltung garantiert. 

Die Aufgabe wird durch eine Vorrichtung und ein Verfahren mit 
den Merkmalen der Patentanspriiche 1 und 5 gelost. 
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Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfin- 
dung werden durch die abhangigen Patentanspruche beschrieben. 

Auf Vektorrechnung und Farbmischung spezialisierte Computer- 
5 Hardware sogenannte Graphical Processing Units GPU (z.B. sog. 
3D-beschleunigte Graf ikkarten, vorzugsweise mit hardwaresei- 
tig implementiertem OpenGL- und / oder Direct -X-Standard) , 
die vornehmlich fur die Unterhaltungselektronik (Computer- 
spiele und -animation) oder die Darstellung von 3-dimensiona- 

10 len Konstruktionen (CAD) entwickelt wurde, beinhalten Reali- 
sierungen von Bildverarbeitungsalgorithmik auf Basis der 
Halbleitertechnik. Durch die erf inderische Implement ierung 
einer solcher Hardware als wesentlicher Teil der Bildverar- 
beitung, kann eine fur eine Echtzeit-Bildverarbeitung notwen- 

15 dige Rechnerlei stung wirtschaf tlich sinnvoll realisiert wer- 
den. In erf inderischer Weise wird hierbei die GPU (teilweise 
auch als VPU - Video Processung Unit bezeichnet) nicht in 
bisher ublicher Weise verwandt (namlich zur Transformation 
von synthischen 3-dimensionalen Welten in eine moglichst rea- 

20 listische 2-D Ansicht auf einem Bildschirm) , sondern gerade 
umgekehrt, namlich zur Transformation realer 2-D Ansichten 
(im allgemeinen: Kamerabilder) urn daraus die tatsachlich im 
realen 3-dimensionalen Raum vorherrschenden Geometrien zu er- 
mitteln. 

25 

Die Erfindung macht somit zwar Gebrauch von einer allgemein 
bekannten Vorrichtung, namliche einer GPU, nutzt diese aber 
in absoluter Abkehr von deren bestimmungsgemafien Gebrauch. 
Insbesondere die Verbindung des Ausgangs einer Kameraeinheit 
30 mit dem Eingang einer GPU bzw. einer Graphikkarte ist im Rah- 
men dieser Erfindung erstmalig und wird dem Fachmann durch 
den Stand der Technik auch nicht nahegelegt. Im Gegenteil, 
zeigt der Stand der Technik zur Optimierung der Verarbei- 
tungskapazitat einer Kamerabildverarbeitung die Moglichkeit 
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dung werden durch die abhangigen Patentanspruche beschrieben. 

Auf Vektorrechnung und Farbmischung spezialisierte Computer- 
5 Hardware sogenannte Graphical Processing Units GPU (z.B. sog. 
3D-beschleunigte Graf ikkarten, vorzugsweise mit hardwaresei- 
tig implement iert em OpenGL- und / oder Direct-X-Standard) , 
die vornehmlich fur die Unterhaltungselektronik (Computer- 
spiele und -animation) oder die Darstellung von 3-dimensiona- 

10 len Konstruktionen (CAD) entwickelt wurde, beinhalten Reali- 
sierungen von Bildverarbeitungsalgorithmik auf Basis der 
Halbleitertechnik. Durch die erf inderische Implementierung 
einer solcher Hardware als wesentlicher Teil der Bildverar- 
beitung, kann eine fur eine Echtzeit-Bildverarbeitung notwen- 

15 dige Rechnerleistung wirtschaf tlich sinnvoll realisiert wer- 
den. In erf inderischer Weise wird hierbei die GPU (teilweise 
auch als VPU - Video Processung Unit bezeichnet) nicht in 
bisher ublicher Weise verwandt (namlich zur Transformation 
von synthischen 3 -dimensionalen Welten in eine moglichst rea- 

20 listische 2-D Ansicht auf einem Bildschirm) , sondern gerade 
umgekehrt, namlich zur Transformation realer 2-D Ansichten 
(im allgemeinen: Kamerabilder) urn daraus die tatsachlich im 
realen 3 -dimensionalen Raum vorherrschenden Geometrien zu er- 
mitteln. 

25 

Die Erfindung macht somit zwar Gebrauch von einer allgemein 
bekannten Vorrichtung, namliche einer GPU, nutzt diese aber 
in absoluter Abkehr von deren best immungsgemafien Gebrauch. 
Insbesondere die Verbindung des Ausgangs einer Kameraeinheit 
30 mit dem Eingang einer GPU bzw, einer Graphikkarte ist im Rah- 
men dieser Erfindung erstmalig und wird dem Fachmann durch 
den Stand der Technik auch nicht nahegelegt. Im Gegenteil, 
zeigt der Stand der Technik zur Optimierung der Verarbei- 
tungskapazitat einer Kamerabildverarbeitung die Moglichkeit 



WO 2004/027707 



PCT7EP2003/010030 



4 

auf, die Kamera mit einer intelligenten Frame-Grabber-Karte 
zu kombinieren, um die Bilddaten vor der eigentlichen Bild- 
verarbeitung durch die CPU des Rechners moglichst effektiv 
vorzuverarbeiten. Solche Frame -Grabber-Kar ten (beispielsweise 
5 Snapper-PCI-8/24 der Fa. Active Silicon) ermoglichen es, bei- 
spielsweise mittels eines sogenannten Data-Mappers gezielt 
Ausschnitte aus den Bilddaten auszuwahlen, nachfolgend der 
Bildverarbeitung zugefuhrt werden sollen; eine Verarbeitung 
der Bilddaten durch eine GPU findet hierbei jedoch nicht 
10 statt. 

Durch recht freie Programmierbarkeit der GPU wird es auch 
moglich, ein solch erf inderisches Bildverarbeitungssystem 
flexibel an sich andernde Bedingungen anzupassen. Auch konnen 

15 durch die Erfindung bildverarbeitende Gerate zuverlassiger 
und ausfallsicherer gemacht werden, da beispielsweise die 
allgemein ubliche Parallel -Schaltung mehrerer CPU's zur Lei- 
stungssteigerung entfallt. Andererseits erlaubt es die erhoh- 
te Rechenlei stung, mehr Information in gleicher Zeit zu ver- 

20 arbeiten, beziehungsweise innerhalb der zur Verfugung stehen- 
den Zeit bestimmte Inf ormationen zu Verif izieren, indem die 
Bilddaten parallel durch mehrer Algorithmen verarbeitet wer- 
den, welchen unterschiedliche Losungsansatze zu Grunde lie- 
gen. Die Verwendung einer GPU fur Bildverarbeitungsaufgaben 

25 bildet auch einen wirtschaf tlich optimalen Kompromiss zwi- 

schen der herkommlichen Verwendung von CPU's und der bekann- 
ten spezifischen Hardware real isierung der Algorithmik auf ei- 
nem AISIC, da so fur andere Zwecke (meist Computer spiele oder 
CAD-Anwendungen) konzipierte Standard-Hardware, welche mitt- 

30 lerweile als kostengiinstige Massenware zur Verfugung steht, 
verwendet werden kann. 

Die wesentlichen Unterschiede zwischen einer CPU wie sie in 
alien gangigen Computern als zentrale Rechnereinheit zu fin- 
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den ist und einer GPU, wie sie insbesondere auf Graphikkarten 
zur Wandlung synthetischer 3 -dimensionaler Bilddaten in 2- 
dimensionale Darstellungen Verwendung findet, sei zur weite- 
ren Klarstellung der Erfindung nachfolgend auch anhand der 
5 Figuren 1 und 2 erlautert. 

Eine CPU, wie sie in Figur 1 aufgezeigt ist, besteht aus ei- 
ner Kontroll-Einheit zu deren Steuerung, einer arithmeti- 
schen-logischen Einheit (ALU) , Registern (die dauerhaft exi- 
stieren und mit beliebigen Daten gefiillt werden konnen) , ei- 
ner Prefetch-Queue, die Daten vorausschauend iiber den Daten - 
Bus in den Cache holt und dem Dat en-Bus- Interface, welches 
die Schnittstelle zur restlichen Hardware (Graf ikkarte, 
Schnittstellenkarte, Festplatte, CD-ROM, etc.) darstellt. Die 
CPU ist auf die sequentielle Bearbeitung von Daten ausgelegt. 

Figur 2 zeigt deutlich, dass die einzelnen Einheiten der GPU 
in Form einer Pipeline angeordnet sind. Die einzelnen Daten 
werden hierdurch sequentiell durch die Einheiten, den soge- 
2 0 nannten Shadern, der GPU geschoben. Die wesent lichen Elemente 
einer GPU lassen sich wie folgt beschreiben: 



10 



15 



- Die Vektorrechnung wird in der sogenannten Geometrie- 
Pipeline vorgenommen. Diese sind in der Lage dreidimensio- 

25 nale Vektoren zu verarbeiten. Sollte die standardmaSig im- 
plement ierten Methoden fur den jeweiligen Algorithmus nicht 
ausreichen, konnen diese durch den Programmierer durch spe- 
zifische Programme (Vertex- Shader) erweitert und angepasst 
werden. Dadurch konnen jedem Pixel bestimmte Projektion- 

30 sentf ernungen und Rechnung zugeordnet werden und dadurch 
Entzerrungen und Perspektiven rekonstruiert werden. Jede 
Art von Bildverarbeitungsalgorithmik, die Vektorrechnung 
beinhaltet (z.B. dreidimensionale Rekonstruktion einer Sze- 
ne durch Auswertung von Stereobildem) kann von diesen Ein- 
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heiten unterstutzt und / oder ersetzt werden. Konkrete An- 
wendungen siehe unten. 

- Die Farbmischung findet auf sogenannten Textur- und Pi- 
xel-Shadern statt. Diese Shader konnen Farbwerte nach be- 

5 stimmten Muster innerhalb des Bildes verschieben oder farb- 
liche Zwischenwerte fur bestimmte Bereiche generieren. Es 
stehen bei den derzeit auf dem Markt verfugbaren GPU bis zu 
4 Textur-Einheiten zur Verfugung, so dass z.B. auf eine 
Geometrie mehrere Texturoperationen gleichzeitig angewendet 

10 werden konnen. Zudem konnen mehrere Einheiten arithmetisch 
miteinander verbunden werden. Operationen die etwa auf dem 
Vergleich von Farbwerte oder dem Posit ionsvergleich identi- 
scher Farbwerte oder Farbwertkombinationen in verschiedenen 
Bildern beruhen konnen von diesen Einheiten unterstutzt und 

15 / oder ersetzt werden. 

Innerhalb der Pipeline konnen Element e verworfen werden. Dies 
geschieht im Prinzip fur jedes Element einzeln, d.h. ohne 
Kenntnis benachbarter Elemente. Dies hat folgende Konsequen- 
20 zen: 

- Da auch keine dauerhaften Register wie bei der CPU zur 
Verfugung stehen, ist z.B. keine Aufsummieren von Farbwer- 
ten uber einen Bildbereich moglich. Register werden nur 
wahrend der Berechnung eines Elements (z.B. eines Vektors) 

25 angelegt und danach wieder geloscht (dies konnte sich evtl. 
in den nachsten Generationen von GPU 7 s andern.) 

- Da die einzelnen Elemente unabhangig voneinander bearbei- 
tet werden, ist die Reihenfolge der Bearbeitung irrelevant. 
Dies ist ein wesentliche Voraussetzung fur die Paralleli- 

30 sierung der Bearbeitung und die Geschwindigkeiten, die da- 
mi t erreicht werden konnen. Auf der Grafikkarte konnen des- 
halb mehrere Einheiten untergebracht werden. Gangige GPU's 
bzw. Graphikkarten haben beispielsweise bis zu 4 Textur- 
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Einheiten (zukiinftig werden vermutlich noch mehr Einheiten 
vorhanden sein) , die parallel arbeiten. 

- Einheiten wie die ALU oder die Prefetch-Queue sind im Ge- 
gensatz zur CPU bei einer GPU nicht vorhanden. 

Die oben angefuhrten Unterschiede zwischen der GPU und der im 
Stand der Technik fur die Bildverarbeitung herangezogene CPU 
erfordert eine spezielle Anpassung der bisher bekannten Bild- 
verarbeitungsalgorithmik an die vorliegende GPU-Architektur . 
Urn den Begriff GPU zusatzlich zu den vorigen Erlauterungen 
eindeutig zu definieren, seien nachfolgend beispielhaft gan- 
gige fur die erf indungsgemafie Verwendung zur Bildverarbeitung 
geeignete GPU 7 s angef uhrt : 

- GeForce4 Serie der Firma NVIDIA Corporation 

- nForce Serie der Firma NVIDIA Corporation 

- Parhelia-512 GPU der Firma Matrox Graphics Inc. 

- ATI RADEON GPU der Firma ATI Technologies Inc. 

- Wildcat VP Visual Processing Unit (VPU) der Firma 3D-Labs 
Inc. 

Selbstverstandlich wird, insbesondere auch im Rahmen dieser 
Anmeldung unter einer GPU nicht nur der isolierte Prozessor- 
baustein als solcher (Beispiele siehe oben) , sonder auch die 
mit diesem Graphik Prozessor zusammenhangende Hardware - 
Periphere (beispielsweise, diesem zugeordnete Bildspeicher 
oder auch speziell insbesondere fur die Systemverwaltung op- 
timierte CPUs) verstanden. Solche Systeme aus GPU-Prozessor 
mit zugehoriger Hardware-Peripherie wird gemeinhin auch als 
Graphikkarte bezeichnet, da es meist als ein in ein CPU- 
basiertes Computersystem integrierbare Einsteckkarte reali- 
siert wird. An Stelle solcher Graphikkarten ist es aber 
gleichwohl auch moglich, dass solche Systeme aus GPU- 
Prozessor und Hardware-Peripherie als eine gemeinsame Einheit 
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direkt auf dem Motherboard des Computersystems realisiert 
sind. 

In besonders vorteilhaf ter Weise erhalt das erf inderischen 
5 Bildverarbeitungssystem die zu verarbeitenden Bilddaten di- 
rekt durch eine Kameraeinheit geliefert, wodurch sich ein 
echtzeitf ahige Kamerabildverarbeitung realisieren lasst, ins- 
besondere zutn Einsatz in einem Kraf tf ahrzeug im Zusammenhang 
mit einem Sicherheits- oder Assistenzsystem. Andererseits ist 
10 es sehr wohl auch moglich das Bildverarbeitungssystem zur ef- 
fektiven und schnellen Nachbearbeitung von in einem Bildspei- 
cher gespeicherten Kamerabildern heranzuziehen. 

Je nach Anwendungsf all konnen sodann die Auswertungsergebnis- 
15 se der Bildverarbeitung sowohl auf einer Bildanzeige bei- 
spielsweise einem Kraf tf ahrzeugf uhrer dargebracht werden, 
oder auch in besonders vorteilhaf ter Weise an andere System- 
einheiten weitergeleitet werden, welche auf dieser Grundlage 
auf andere Systeme einwirken, urn beispielsweise ein Fahrzeug 
20 vor einem aus den Bilddaten erkannten Hindernis automatisch 
abzubremsen. 

Zur weiteren Leistungssteigerung des erf inderischen Bildver- 
arbeitungssystems ist es gewinnbringend, wenn parallel zu dem 

25 Graphikprozessor eine frei programmierbare CPU angeordnet 
ist. Eine solche CPU ist insbesondere fur organisatorische 
Aufgaben im Rahmen der Bildverarbeitung geeignet und konnte 
in steuernder oder regelnder Weise auf den Verarbeitungsab- 
lauf in der GPU einwirken. So konnten beispielsweise ausge- 

30 hend von den Auswertungsergebnissen oder von veranderten Rah- 
menbedingungen (beispielsweise: Wechsel zu einer anderen Ka- 
meraoptik) bestimmte Parameter der im wesentlichen auf der 
GPU implementierten Verarbeitungsalgorithmik verandert wer- 
den. Andererseits last sich durch eine solche Parallelstel- 
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lung einer CPU zu der eigentlichen graphischen Verarbeitungs- 
einheit GPU die Verarbeitungsef f izienz steigern, indem an- 
stelle der gemeirihin ublichen Abfolge der Bildverarbeitung, 
dergestalt dass Bild per DMA von der Kamera direkt in die GPU 
5 und nach der Auf bereitung durch die Recheneinheiten der GPU 
uber DMA in den Hauptspeicher der CPU zur Weiterverarbeitung 
geladen werden, ganz oder teilweise umgekehrt werden. So ist 
es in vorteilhaf ter Weise moglich, wie bisher, zuerst die 
Bilddaten von der Kamera uber DMA in den CPU-Hauptspeicher zu 

10 laden. Hierzu werden nach ersten Verarbeitungsschritten durch 
die CPU die Bilddaten und/oder Teile davon in einen oder meh- 
rere der GPU zugeordnete Bilddaten-Speicher verschoben, ver- 
arbeitet und gegebenenf alls auch angezeigt. Nach der Bearbei- 
• tung durch die GPU, konnen die resultierenden Daten wieder in 

15 den Hauptspeicher der CPU geladen werden. Diese wechselseiti- 
ge Bearbeitung durch CPU und GPU kann je nach Anf orderungen 
des Algorithmus oder nach Kriterien einer effizienten Imple- 
ment ierung mehrfach geschehen. 

20 Wie bereits zuvor erwahnt, mussen aus dem Grund, dass eine 
GPU im Gegensatz zu einer CPU nicht frei programmierbar ist, 
die eventuell bereits aus dem Stand der Technik bekannten 
Teilalgorithmen zur Bildverarbeitung abgeandert und auf eine 
GPU-spezif ische Implement ierung angepasst werden. In beson- 

25 ders vorteilhaf ter Weise konnen hierdurch die speziell auf 
die Shader-Strukturen der GPU angepassten Algorithmen auch 
die durch die Vertex- oder Textur-/Pixel-Shader zur Verfugung 
gestellte Funktionalitat ausnutzen. 

30 Nachfolgend wird an mehreren Beispielen das notwendige erfin- 
derische Vorgehen zur Anpassung von Bildverarbeitungsalgo- 
rithmen auf eine GPU-Hardware-Struktur beschrieben. 



Entzerrung von Bildern 
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Durch Linsenfehler und mangelhaf ten Einbau von Linsen und Ka- 
merachips entstehen Verzeichnungen (Abbildungsf ehler) die 
mittels der GPU, insbesondere deren Pixel -Shadern, unter Ver- 
wendung von Kalibrationsalgorithmen schnell und effektiv kor- 
5 rigiert werden konnen. Hierbei werden aus den Bilddaten der 
Kamera die Verzeichnungsparameter bestimmt und hieraus die 
notwendigen Rechenvorschrif ten bestimmt, wie Farb- oder Grau- 
wert in den Bilder verschoben werden miissen, fur die Kalibra- 
tionsalgorithmen, damit die Bilddaten nach Durchlauf dieser 
10 Stufe der Bildverarbeitung so vorliegen, als ob sie von einer 
idealen Kamera entstammten. 

Farbmischung 

Die Farbmischung findet auf sogenannten Textur- und Pixel - 
15 Shadern statt. Diese Shader konnen Farbwerte nach bestimmten 
Muster innerhalb des Bildes verschieben oder farbliche Zwi- 
schenwerte fur bestimmte Bereiche generieren. Es stehen bis 
zu 4 Textur-Einheiten zur Verfiigung, so dass z.B. auf eine 
Geometrie (siehe oben) mehrere Texturoperationen angewendet 
2 0 werden konnen. Zudem konnen mehrere Einheiten arithmetisch 
miteinander verbunden werden. Operationen Bildverarbeitung 
im weitesten Sinne, die etwa auf dem Vergleich von Farbwerte 
oder dem Positionsvergleich identischer Farbwerte oder Farb- 
wertkombinationen in verschiedenen Bildern beruhen konnen von 
25 diesen Einheiten unterstutzt und / oder ersetzt werden. 

Interpolationsverf ahren 

Die Ermittlung von Farb- oder Grauzwischenwerten, etwa bei 
einer BildgroSenanderung oder im Rahmen der Entzerrung von 
30 Bilddaten, sind sehr aufwendig und konnen bisher nicht oder 
nur partiell (auf einzelnen, vorher bestimmten Bildbereichen) 
durchgefiihrt werden. Die fest implementierten Interpolations- 
funktionen, insbesondere die Funktionalitat der Pixel -Shader, 
verbessern die gesamten Bilddaten, so dass verschiedene Algo- 
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rithmen (etwa Kantenextraktionen) , die auf entsprechend feine 
Strukturen angewiesen sind, bessere Ergebnisse liefern. 

Urn Farbwerte benachbarter Pixel auf summieren zu konnen, kann 
5 die Interpolationsroutine entgegen ihrer eigentlichen Bestim- 
mung in erf inderischer Weise so genutzt, dass zur gewiinschten 
Interpolation uber jeweils 4 Pixel der Bilddaten eines Bild- 
ausschnittes dieser Bildausschnitt in beiden Dimensionen urn 
den Faktor 2 verkleinert wird, wobei die GPU standardmaSig 

10 eine Interpolation der Bilddaten uber die 4 jeweils benach- 
barten Pixel ausfiihrt. Da dieser Faktor 4 jedoch bekannt ist, 
last sich auf einfache Multiplikation der aus der Interpola- 
tion resultierenden Farbwerte der Bilddaten die eigentlich 
gesuchte Farbwertsumme wieder herstellen. Dieses Vorgehen 

15 last sich selbstverstandlich entsprechend auch mit GPU-Hard- 
ware anwenden, welche standardmafiig uber mehr als 4 umliegen- 
de Pixelwerte interpoliert . 

Rekonstruktion von Bildern 
2 0 Spezielle Kamerageornetrien, wie z.B. panoramische Kameras, 

bestehend aus Spiegeln und Linsen, erfordern geometrische Mo- 
delle zur Rekonstruktion des Bildes . Wird z.B. eine Rotati- 
onsparaboloid in der panoramischen Kamera verwendet, so lasst 
sich ein Vektormodell des Rotationsparaboloids in der GPU ab- 

2 5 legen. Das direkt uber DMA in die GPU geholte Bild wird auf 

diese Vektorflache gelegt; dies geschieht insbesondere im 
Vertex- Shader . Da die auSere Geometrie der Vektorflache der 
inneren Geometrie des aufgenommenen Bildes entspricht, findet 
automatisch Rekonstruktion des Bildes statt. Die auf genommene 

3 0 BildgroSe, die Blickrichtung und der Kamerapunkt innerhalb 

der geometrischen Anordnung konnen frei angeben. Dadurch las- 
sen sich Bilddaten beliebiger Kamera-Ansichten innerhalb des 
aufgenommenen Raumes in diesen rucktransf ormieren. 
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Wird beispielsweise bei der Bildaufnahme durch eine panorami- 
sche Kamera als Spiegel nicht ein Paraboloid, sondern ein Hy- 
perboloid, Ellipsoid, eine Kugel oder eine andere geometri- 
sche Form verwendet, so lassen sich diese auf die ein und 
5 dieselbe Art und Weise in der GPU hinterlegen und entspre- 
chende Ergebnisse erzielen. 



10 Rekonstruktion von Freif lachen-Ref lexionen 

Der Einsatz von Vektorf lachen ist nicht auf die unter dem 
vorherigen Punkt „ Rekonstruktion von Bildern" beschriebenen 
wohldef inierten Geometrien beschrankt . Da im Prinzip fur je- 
des Bildelement (Pixel) ein spezieller Vektorpunkt angegeben 

15 werden kann, kpnnen auch Spiegelungen an bekannten Freifla- 
chen mittels der GPU rucktransf ormiert werden. So kann bei- 
spielsweise aus den Stereobilddaten der tatsachliche Standort 
eines sich auf der Motorhaube eines Kraf tf ahrzeuges spiegeln- 
den Baumes durch Rucktransf ormation errechnet werden, da die 

2 0 Abbildungsgeometrien der Motorhaube, beispielsweise aus deren 
CAD-Daten, genau bekannt sind. 

Sind die Vektordaten fur die angegeben Flache nicht dicht 
uber den Pixeln (es wird z.B. zur Reduzierung der zu ubertra- 

25 genden Vektorgeometrie-Daten nur eine Vektorpunkt fur jedes 
vierte Pixel angegeben) , so kann die GPU in besonders vor- 
teilhafter Weise genutzt werden, um die Zwischenwerte fur die 
nicht angegebenen Pixel automatisch linear durch die bereits 
im Vertex-Shader realisierte Hardware zu interpolieren. Dies 

-30 bedeutet, dass automatisch durch die GPU-Hardware zwischen 
den gegebenen Flachenpunkten eine Triangulation stattfindet. 
Aufwendige Ansatze, die zuerst in den Daten entsprechende 
Dreiecksberechnung (Triangluar-Mesh) durchf uhrten, konnen so- 
mit entf alien. 
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Berechnung von anderen Kameraperspektiven 

Fur bestimme Anwendungen kann es sinnvoll sein, den Blick- 
punkt der Kamera virtuell zu verlegen, beispielsweise um eine 
5 Ansicht in Vogelperspektive zu schaffen. Ein anderes Beispiel 
hierzu ist die Erkennung von Fahrbahn- und f ahrbahnparallelen 
Strukturen (Spur erkennung) aus Kamerabildern. Ublicherweise 
wird die Kamera zur Spurerkennung im Frontbereich des Fahr- 
zeugs eingebaut, so dass der Blick der Kamera in etwa dem 

10 Blick des Fahrers entspricht. Da die normale Linsenkamera 
perspektivisch arbeitet, werden die Fahrbahnstrukturen als 
auf den Fluchtpunkt zulaufenden Strukturen im Bild wiederge- 
geben. D.h. in der Realitat parallele Strukturen sind im Bild 
nicht mehr parallel. Ist die Einbauhohe, der Blick- und Nick- 

15 winkel der Kamera bekannt, so kann das Bild in eine sog. Vo- 
gelperspektive umgerechnet werden. Dazu werden die Bildinfor- 
mationen algorithmisch auf die Strafienebene zuruckproj iziert . 
Das so entstandenen Bild wird durch eine virtuelle Kamera, 
die sich geometrisch vor dem Fahrzeug in befindet und deren 

20 Bildebene parallel zur StraSenebene ist abgebildet. Durch 

dieses Verfahren werden parallele Strukturen in der StraSene- 
bene bzw. in dazu parallelen Ebenen als parallele Strukturen 
im aus der Bildverarbeitung resultierenden Datensatz abgebil- 
det. Da es sich bei dieser Vogelperspektiven-Berechnung um 

25 reine geometrische Modelle handelt, kann hierzu in gewinn- 

bringender Weise die auf graphische Transformation optimierte 
Hardware der GPU, insbesondere der Vertex- Shader, genutzt 
werden. Fur dieses Vorgehen insbesondere zwei Verf ahrensab- 
lauf e denkbar : 

30 - Beim einen gewinnbringenden Verf ahrensabl auf werden in ei- 
nem ersten Schritt eine Ebene festgelegt, die der StraSenebe- 
ne entspricht, Hierzu das Ergebnis einer Nickwinkelbestimmung 
der Kamera zur Definition der Ebene berucksichtigt werden, 
d.h. es ist eine , Nachf uhrung x der Ebene wahrend der Bewegung 
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der Kamera moglich, beispielsweise wahrend der Fahrt einer 
Kamera in einem Kraftf ahrzeug. Das Kamerabild wird nun ganz 
oder in Teilen auf die Ebene gelegt. Die von der GPU zur Dar- 
stellung automatisch durchgefuhrte Projektion erledigt die 
5 Rekons trukt ionsauf gabe . 

- Zum anderen ist es in ebensolch vorteilhaf ter Weise mog- 
lich, dass auf einer Ebene der Projektion, d.h. dem Nick- und 
Blickwinkel, entsprechend die Textur-Koordinaten des Bildes 
verandert werden. Dies erzielt den gleichen Rekons trukt ions - 
10 effekt. 

Weitere Anwendung solcher Rekons truktionen neben der Spurer- 
kennung sind etwa Riickf ahrkameras fur Pkw, Transporter oder 
Lkw. Dabei wird das auf genommenen Bild in die Perspektive ei- 

15 ner Kamera umgerechnet, die hinter dem Fahrzeug zu schweben 
scheint. Eine weitere Anwendung ware die Uberwachung des to- 
ten Sichtbereichs direkt vor einem Lkw. Durch die hohe Sitz- 
position des Fahrers und die hohe Scheibenunterkante ist der 
Raum unmittelbar vor dem Fahrzeug fur den Fahrer nicht ein- 

20 sehbar. Durch eine oben angebrachte Kamera kann dieser Raum 
uberwacht werden. Eine hilfreiche Darstellung des Bildes fur 
den Fahrer ist wiederum eine Vogelperspektive, bei der die 
virtuelle Kamera vor dem Fahrzeug , schwebt * . In den aufge- 
zahlten Beispielen wurde als Bildquelle eine normale, per- 
' 25 spektivische Linsenkamera angef uhrt . Es konnen jedoch genauso 
Bilddaten wie sie von einer panoramische und/oder orthogra- 
phische Kameras geliefert werden, verwendet werden. 

Korrelation von Bildern 
-30 Verfugt eine GPU uber mehrere Textur-Shader , konnen auf ein- 
fache Weise schnelle Korrelationsroutinen, beispielsweise fur 
die Stereobildverarbeitung auf der GPU realisiert werden. 
Durch geeignete Verschiebung der Arbeitspunkte, berechnet man 
an entsprechend versetzten Stellen in den jeweiligen Textur- 
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Shadem die Farbwerte. Nach dieser Berechnung werden die 
hierbei gewonnenen Texturen geeignet gemischt, um ein Korre- 
lationsergebnis, beispielsweise ein Entf ernungsbild bei der 
Stereobildverarbeitung zu erhalten. 



Realisierung der Kamera-Belichtungsregelung bzw. Farbwert- 

10 Anpassung durch die GPU. 

Moderne CMOS- und CCD-Kameras haben einen gro&en Dynamikbe- 
reich, d.h. es konnen lichtschwache und lichtstarke Objekte 
gleichzeitig abgebildet werden. Um diesen grofien Helligkeits- 
bereich abzudecken, verwenden die Kamera eine 12 Bit- 

15 Representation fur das Bild. Da viele Displays nur 8 Bit- 

Grauwertbilder anzeigen konnen, mussen die Kamerainternen 12 
Bit auf 8 Bit reduziert werden. Dies kann auf unterschiedli- 
che weise geschehen. Zum einen kann ein 8 Bit Bereich inner- 
halb der 12 Bit festgelegt werden. Dann wird entsprechend die 

20 Belichtungszeit der Kamera geregelt, damit ein verwertbares 
Bild entsteht. Die Belichtungszeit wird durch Auswertung der 
Intensitatsverteilung im ganzen Bild oder bestimmten Bildtei- 
len berechnet. Dies geschieht durch die CPU. Zum anderen kann 
der 8 Bit Bereich innerhalb der 12 Bit variabel gewahlt wer- 

25 den. Dann besteht die Aufgabe darin, den fur die aktuelle 

Lichtsituation geeigneten 8 Bit Bereich innerhalb der 12 Bit 
zu bestimmen (z.B. die unteren 8 Bit bei Nacht und / oder 
Fahrt in einem Tunnel, die oberen 8 Bit bei hellem Sonnen- 
schein, oder Fahrt in die untergehende Sonne) . Bei dieser Me- 

30 thode bleibt die Belichtungszeit unverandert . Die Wahl des 

Bereichs geschieht ebenfalls durch die Auswertung der Inten- 
sitatsverteilung in ganzen Bild und/oder Bildteilen unter 
CPU-Last . 
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Besonders vorteilhaft last sich jedoch die Belichtungsrege- 
lung unter Zurhilf enahme einer GPU, insbesondere mittels de- 
ren Pixel -Shadern, realisieren. Die GPU ist ublicherweise 
fur die Verarbeitung von Farbbildern ausgelegt . Fur die Farb- 
5 bildverarbeitung wird eine RGBA-Format verwendet. Das bedeu- 
tet es stehen jeweils 8 Bit fiir Rot (R) , Grun (G) , Blau (B) 
und einen Alpha- Kanal (A) zur Verfugung (Der Grafikkarten 
Marktfiihrer NVIDIA erwagt die 8 Bit pro Farbkanal bis zu 32 
Bit pro Farbkanal zu erweitern) . Wird in diesem Format ein 

10 Grauwertbild verarbeitet, so wird in jedem der drei Kanale R, 
G, und B der selbe, den Grauwert reprasentierende Skalar ab- 
gelegt. Im Prinzip wird also das 8 Bit Grauwertbild dreifach 
in dem zur Verfugung stehenden Bildspeicher abgelegt. Fur die 
fehlenden 4 Bit des Kamerabildes konnen nun die 8 Bit des Al- 

15 pha-Kanals verwendet werden. Durch geeignete Implementierung 
werden aus den 8 Bit Grauwert im RGB und den 4 Bit Grauwert 
im Alpha -Kanal wieder die ganzen 12 Bit Grauwert der Kamera 
in der GPU hergestellt. Da standardmaSig am Display-Ausgang 
einer GPU die zur Darstellung zu bringenden RGB-Bilddaten als 

2 0 8 -Bit Information zur Verfugung gestellt werden, kann durch 
die entsprechende Auswahl der Zwischengespeicherten der 8 Bit 
RGB- Grauwert inf ormation der Kamera und der 4 Bit Alpha-Grau- 
wert information der Kamera der gewunschte 8 Bit-Bereich ge- 
wahlt werden, der angezeigt werden soil. Dies ist gleichbe- 

25 deutend mit der Belichtungssteuerung der Kamera. Die Trans- 
formation der 12 Bit Kamera-Werte in das RGBA-Format ge- 
schieht hierbei in der Regel durch eine der GPU beigestellte 
CPU. Die CPU-Last ist bei Anwendung dieses vorteilhaf ten Ver- 
fahrens zur Kamera-Belichtungsregelung jedoch wesentlich ge- 

-30 ringer, als die bei der Belichtungssteuerung durch Intensi- 
tatsauswertung anfallende. Hinzukommt, dass der PCI- bzw. 
AGP-Bus fur den DMA auf 32 Bit Datenubertragung optimiert 
ist, Beim RGBA-Format fallen genau diese 32 Bit an, so dass 
die dreifache Bildubertragung (R=G=B) gerade keinen Nachteil, 
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sondern einen Vorteil bietet. Daruber hinaus, konnen die Da 
ten, die nicht angezeigt werden, mit 12 Bit in der GPU bear 
beitet werden. Diese 12 Bit konnen nach der Bearbeitung in 
der GPU mit dem gleichen Verfahren der CPU zu deren Weiter- 
verarbeitung zur Verfugung gestellt werden. 
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Patentans p ruche 

1. Vorrichtung zur Bildverarbeitung, bestehend aus 
einer Einheit zur Verfiigungsstellung von Bilddaten, 

5 einer Rechnereinheit zur Erkennung von Objekten in den Bild- 
daten und 

einer Einheit zur Weiterverarbeitung der Erkennungsergebnis- 
se, 

dadurch gekennzeichnet, 
10 dass die Rechnereinheit zur Erkennung der Objekte im wesent- 
lichen aus einem Graphik-Prozessor (GPU bzw. VPU) , insbeson- 
dere mit einer im zugeordneten Hardware-Peripherie, besteht. 

2. Vorrichtung nach Anspruch 1, 

15 dadurch gekennzeichnet, 

dass die Einheit zur Verfiigungsstellung der Bilddaten im we- 
sentlichen aus einem Kamerasystem und/oder einem Bildspeicher 
besteht . 

20 3. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 
dass die Einheit zur Weiterverarbeitung der Erkennungsergeb- 
nisse im wesent lichen aus einer Bildanzeige und/oder einer 
Einheit besteht, welche auf Grund der in den Bilddaten er- 

25 kannten Objekte auf andere Systeme einwirkt . 

4. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet 
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dass zur Unterstutzung bei den Bildverarbeitungsaufgaben par- 
allel zu dem Graphikprozessor eine frei programmierbare CPU 
angeordnet ist. 

5. Verfahren zur Bildverarbeitung, 

bei welchem Bilddaten zur Verarbeitung zur Verfugung gestellt 
werden, 

worauf in diesen Bilddaten mittels einer Rechnereinheit Ob- 
jekte erkannt werden, 

und die Erkennungsergebnisse an eine Einheit zur Weiterverar- 
beitung weitergeleitet werden, 

dadurch gekennzeichnet, 
dass die Algorithmen zur Erkennung der Objekte in den Bildda- 
ten im wesentlichen auf einem Graphik-Prozessor (GPU bzw. 
VPU) , insbesondere unter Zurhilf enahme der diesem zugeordne- 
ten Hardware -Peripherie, ablaufen. 

6. Verfahren nach Anspruch 5, 

dadurch gekennzeichnet, 

dass die Bilddaten durch ein Kamerasystem und/oder einen 

Bildspeicher zur Verfugung gestellt werden. 

7. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass im Rahmen der Weiterverarbeitung der Erkennungsergebnis- 
se diese auf einer Anzeige dargestellt werden und/oder einem 
System zur Verfugung gestellt werden, welches auf Grund der 
in den Bilddaten erkannten Objekte auf andere Systeme ein- 
wirkt . 

8. Verfahren nach einem der vorhergehend Anspriiche, 
dadurch gekennzeichnet, 
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dass die GPU mit einer CPU in Verbindung steht, welche in 
steuemder oder regelnder Weise auf den Verarbeitungsablauf 
in der GPU einwirkt. 

5 9. Verfahren nach Anspruch 8, 

dadurch gekennzeichnet, 
dass die Bilddaten via DMA (Direkt Memory Access) von der Ka- 
mera oder einem Bildspeicher direkt in die GPU und nach der 
Aufbereitung durch die GPU durch DMA direkt in den Hauptspei- 
10 cher der CPU zur Weiterverarbeitung geladen werden, und die- 
ses Vorgehen gegebenenf alls auf umgekehrt und/oder iterativ 
erf olgt . 

15 
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